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摘 要 : [目的 /意义 ] 基 于 相关 性 分 值 对 搜索 结果 进行 列表 式 线性 排列 是 目前 大 多 数 信息 检索 系统 采用 的 主要 方式 。 已 


有 研究 虽然 从 理论 上 批判 了 这 种 方式 的 局 限 性 ,指出 先后 检验 和 阅读 的 文献 之 间 是 相互 影响 的 ,但 是 并 未 有 实证 
研究 进一步 调查 相关 性 判断 次 序 效 应 发 生 的 情境 因素 。[ 方法 过程] 针对 这 一 问题 ,采用 2X2X2 被 试 间 实验 法 ， 
招募 80 名 被 试 , 要 求 每 人 完成 4 个 主题 的 实验 任务 ,在 实验 任务 完成 前 后 通过 问卷 调查 等 方法 收集 数据 ,并 采用 
卡 方 检验 、 全 概率 公式 背 反 以 及 QQ 等 式 等 多 种 方法 进行 数据 分 析 , 以 探究 相关 性 判断 的 次 序 效应 以 及 文献 间 关 


T 系 文献 呈现 形式 作为 情境 因素 所 产生 的 影响 。[ 结果 /结论 ] 研究 结果 表明 ,文献 呈现 次 序 会 影响 相关 性 判断 ,并 
in 且 发 现 这 种 效应 会 根据 文献 间 关 系 以 及 文献 呈现 形式 的 不 同 而 不 同 。 具 体 而 言 ,研究 发 现 相对 于 具有 互补 关系 
CO 的 文献 ,具有 互 斥 关系 的 文献 的 呈现 次 序 更 容易 影响 相关 性 判断 ;另外 ,相对 于 文献 全 文 ,文献 片段 的 呈现 次 序 更 
[= ”容易 影响 相关 性 判断 。 本 研究 虽然 存在 一 定 的 局 限 性 ,但 是 研究 结论 对 于 文本 信息 检索 的 理论 .实践 以 及 研究 方 
= 法 均 具 有 一 定 的 启示 。 

Gia: ARH 次 序 效应 ”文献 间 关系 “文献 呈现 形式 “量子 认 知 

CEs: G250 

oa. 10. 13266/j. issn. 0252 — 3116. 2022. 09.013 

EN 

© 


N 


€ 


4 


2 aid 索引 人 擎 结果 页 面 (search engine result page, 
SERP) 和 加 载 内 容 页 面 (landing page, LP) 分别 呈现 的 
SER SE SLA UY HY BE (snippet) 和 全 文 , 是 信息 检 
索 蛙 统 为 用 户 开展 交互 活动 提供 的 主要 界面 。 在 当前 
主 溪 的 搜索 引擎 系统 中 (如 百度 .谷歌 \ 必 应 等 ) ,文本 
信息 仍然 占据 主导 性 地 位 ,并 且 SERP 结果 呈现 方式 
仍然 以 有 限 数量 信息 项 的 顺序 式 排列 为 主 (一 般 为 10 
条 ,传统 上 称 之 为 ten blue links) ,决定 了 用 户 在 SERP 
上 的 交互 方式 主要 是 以 线性 的 方式 检视 各 个 信息 项 。 
同时 ,用 户 有 限 的 注意 力 决定 了 LP 上 信息 项 的 阅读 也 
是 以 线性 的 方式 展开 。 其 中 ,判断 检索 结果 ( 即 信息 项 
的 片段 和 全 文 ) 的 相关 性 是 用 户 与 SERP 和 LP 交互 中 
的 重要 环节 ,这 里 相关 性 一 般 是 指 信息 项 及 其 表征 与 
用 户 信 息 需 求 之 间 的 关系 器 。 然 而 ,与 信息 项 的 线性 
交互 方式 决定 了 用 户 在 判断 当前 信息 项 的 相关 性 时 会 
受到 已 判断 信息 项 的 影响 ,这 种 由 于 信息 项 的 不 同 呈 
现 次 序 导 致 用 户 相 关 性 评估 产生 差异 的 现象 被 称 为 次 


序 效应 ” 。 目 前 ,信息 检索 系统 仍然 主要 建立 在 经 典 
的 概率 排序 原则 (probability ranking principle , PRP ) 基 
础 之 上 , 即 仅 考虑 当前 单个 文献 与 查询 式 之 间 的 匹配 
程度 ”“ ,并 没有 考虑 文献 间 的 相互 依赖 性 ”及 其 对 信 
息 交 互 中 用 户 认 知 的 影响 ,无 法 纳入 用 户 判 断 的 情境 
并 进行 动态 建 模 ,也 难以 实现 整个 交互 过 程 的 累计 效 
用 最 优 。 

言 息 呈现 位 置 或 次 序 如 何 影 响 人 类 认 知 和 行为 ， 
在 社会 科学 各 个 领域 开展 了 较为 广泛 的 研究 ,例如 心 
理 测量 研究 "旅游 管理 *” 教育 学 '" ,市 场 营销 
学 ”记忆 与 学 习 效 果 ”以 及 判断 与 决策 领 
域 ” “等 。 在 认 知心 理学 领域 ,该 问题 更 是 受到 了 研 
究 者 们 的 高 度 关 注 。 近 年 来 ,有 研究 者 提出 了 一 种 量 
子 认 知 方法 ,试图 用 量子 的 一 些 特性 (如 不 可 观测 性 、 
不 兼容 性 等 ) 来 类 比 和 解释 人 类 认 知 的 不 确定 性 以 及 
情境 依赖 性 ”。 在 信息 检索 领域 ,这 一 问题 也 受到 了 
一 定 的 关注 。 已 有 研究 指出 ,用 户 对 信息 项 的 相关 性 
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评估 会 受到 各 种 因素 的 影响 ,如 判断 情境 或 条 件 
等 ” ,其 中 信息 项 的 呈现 次 序 会 对 用 户 认 知 产生 一 


表 中 结果 的 位 置 对 用 户 检 验 及 点 击 等 行为 的 影响 ,这 
些 行 为 可 以 看 成 是 用 户 评估 文献 相关 性 的 一 种 间接 且 


的 影响 ”1 , 是 影响 用 户 相关 性 判断 的 重要 因素 之 
0) 。 但 是 ,大 多 数 已 有 研究 主要 集中 在 SERP 上 不 
同 的 排序 方式 (如 相关 性 从 高 到 低 或 从 低 到 高 等 ) 以 
及 不 同 数量 的 检索 结果 对 相关 性 判断 ?20 及 其 一 至 
性 中 -3 的 影响 ,或 者 应 用 不 同 相关 性 判断 维度 时 产生 
的 次 序 效应 等。 另外 ,有 少数 研究 者 开始 尝试 从 系 
统 导向 的 角度 ,在 检索 结果 排序 中 建 模 文献 间 的 依赖 
KAR ; 李 竞 飞 也 尝试 使 用 量子 认 知 方法 来 进行 建 
模 ,并 区 分 了 4 种 不 同 的 次 序 效应 ,包括 比较 效应 、 吸 
引 效 应 .陌生 效应 和 排斥 效应 “!。 但 是 鲜 有 研究 从 用 
户 导向 的 角度 ,揭示 相关 性 判断 中 次 序 效应 所 发 生 的 
不 同 条 件 ,特别 是 这 些 研究 痢 没 有 将 文献 间 关 系 和 文 
酥 暑 现形 式 ( 包括 信息 项 片段 和 全 文 ) 作 为 判断 情境 
察 次 序 效应 的 差异 。 
[一 因此 ,有 必要 进一步 从 用 户 认 知 的 角度 ,探索 文本 
福 检 索 中 相关 性 判断 的 次 序 效应 ,以 及 在 不 同文 献 
间 养 系 和 不 同 呈现 形式 下 次 序 效应 的 差异 ,以 便 深 入 
天 各 相关 性 判断 的 情境 性 和 动态 性 及 其 相应 的 用 户 认 
UGH FL Se a ea? 者 果 排序 建 模 页面 呈 现 优 
从 器 供 更 细致 的 理论 依据 ,从 而 有 利于 从 信息 交互 过 
重启 角 度 提升 信息 检索 系统 的 性 能 。 具 体 而 言 , 本 研 
KARM 2X2X2 被 试 间 受 控 实 验 的 方法 , 旨 在 探索 相 
泡 加 判断 中 的 次 序 效应 ,并 考察 下 补 和 互 扩 两 种 文献 
献 片段 和 全 文 两 种 呈现 形式 下 该 效应 的 
JER. 其中, 互补 关系 关注 的 是 内 容 互 补 这 一 类 关 
ZOU , 指 具有 互补 关系 的 文献 能 够 提供 更 多 的 细节 或 
不 同 的 视角 。 文 献 片 段 和 全 文 两 种 形式 对 应 的 是 
SERP 和 LP 两 种 场景 中 的 信息 项 。 其 中 ,文献 片段 通 
党 包括 特定 的 元 数据 信息 以 及 文 内 摘 取 的 部 分 与 查询 
式 匹 配 的 片段 。 通 过 这 一 探索 ,本 研究 旨 在 为 理解 相 
关 性 的 动态 性 及 其 情境 因素 提供 理论 上 的 洞察 ,同时 
为 信息 检索 系统 设计 提供 实践 上 的 启发 。 


1 研究 综述 


1.1 搜索 结果 相关 性 判断 中 的 位 置 因素 

由 于 信息 需求 本 质 上 是 一 个 非常 主观 且 难 以 清晰 
界定 的 概念 ,因此 相关 性 也 具有 很 强 的 用 户主 观 导 向 
性 ,同时 也 是 一 个 多 维度 且 可 测量 的 概念 ”。 在 以 列 
表 为 主要 排序 方式 的 信息 检索 系统 中 ,搜索 结果 列表 
中 文献 的 呈现 位 置 或 次 序 会 影响 到 用 户 相 关 性 的 感知 
和 评估 。 已 有 研究 一 方面 调查 了 搜索 结果 排序 列 


显 式 的 反映 ; 另 一 方面 则 直接 调查 了 文献 呈现 次 序 对 
相关 性 判断 的 影响 。 本 研究 将 主要 回顾 与 第 二 个 问题 
相关 的 研究 。 

在 文献 呈现 次 序 对 用 户 相 关 性 判断 的 影响 方面 ， 
M. Eisenberg FI C. Barry 通过 开展 用 户 实 验 , 发 现在 相 
关 性 升序 和 降序 排列 的 情况 下 ,用 户 对 文献 相关 性 的 
评估 分 别 存在 高 估 和 低估 的 现象 ”。 在 此 基础 上 ,M. 
Huang 和 H. Wang 进一步 调查 了 次 序 效应 及 其 与 文献 
集 大 小 的 关系 ,发 现 只 有 在 大 小 为 15 到 60 篇 文献 集 
上 的 相关 性 判断 才 会 受到 次 序 的 显著 影响 ,而 在 小 于 
15 篇 或 大 于 60 篇 时 这 种 影响 并 不 显著 ”。 随 后 ,Y. 
Xu 和 D. Wang 开展 了 一 个 两 阶段 的 仿真 用 户 实验 ,第 
二 个 实验 阶段 的 文献 集 及 其 次 序 由 第 一 个 实验 阶段 中 
的 用 户 行 为 所 决定 ,人 研究 发 现 次 序 效 应 较 小 但 是 是 存 
在 的 。 

由 于 相关 性 是 一 个 多 维度 概念 ,有 研究 从 判断 维 
度 的 角度 更 加 深入 地 探讨 和 解释 了 相关 性 判断 中 存在 
的 次 序 效 应 。 例 如 ,P. Bruza 和 V. Chang “提出 了 一 
个 假设 , 即 相 关 性 判断 的 每 个 维度 可 以 被 看 成 是 一 个 
希 尔 伯 特 空间 中 的 子 空间 ,如 果 不 同文 献 所 引发 的 用 
户 问 题 状态 通过 不 同 的 维度 投影 到 相关 性 这 一 整体 平 
面 上 ,这 些 文献 所 得 到 的 相关 性 分 值 也 会 不 同 。 通 过 
在 众 包 平台 上 收集 5 个 查询 式 有 关 的 数据 ,从 2 个 不 
同 的 维度 对 各 个 查询 式 进行 判断 ,如 主题 性 、 可 理解 
性 兴趣 等 ,检验 和 证 实 了 这 一 假设 。S. Uprety 和 D. 
Song 将 相关 性 的 2 个 维度 扩展 到 7 个 维度 ,并 使 用 查 
询 式 日 志 数 据 " 和 用 户 实 验 ” 等 方法 检验 了 相关 性 
维度 的 次 序 效 应 ,实验 结果 证 实 了 相关 性 维度 之 间 的 
不 可 兼容 性 以 及 次 序 效 应 的 存在 ,并 且 推 测 该 效应 可 
能 与 其 他 因素 有 关 。 男 外 ,T.， Damessie 等 调查 了 次 序 
效应 (包括 按照 降序 和 文献 识别 符 次 序 ) 对 相关 性 判 
断 在 不 同 评价 者 之 间 的 一 致 性 ”以 及 判断 速度 

的 影响 ,发 现 文 献 呈 现 次 序 会 影响 评价 者 之 间 的 一 致 
性 以 及 总 体 评 价 速度 ,并 且 在 按 文献 识别 符 进 行 排列 
时 ,评价 者 会 花费 更 少 的 时 间 来 进行 判断 且 一 致 性 
更 高 。 

1.2 文献 间 关 系 与 文献 呈现 形式 对 搜索 结果 排序 的 
影响 

在 文献 间 关 系 方面 ,虽然 早 有 研究 对 信息 检索 中 
文献 间 的 独立 性 假设 提出 了 质疑 ,但 是 对 文献 间 关 系 
如 何 影 响 用 户 相关 性 判断 以 及 如 何在 结果 排序 中 考虑 
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这 一 影响 的 研究 仍然 进展 甚 徽 。 例 如 ,A. Bookstein 指 
出 基于 概率 决定 论 模 型 的 方法 忽视 了 文献 间 交 互 效 
应 ,并 认为 应 该 在 顺序 检索 模型 (sequence retrieval 
model ) 中 考虑 已 检验 文献 产生 的 学 习 效 应 及 其 对 用 户 
评估 后 续 文 献 时 的 影响 o D. R. Swanson 提出 情报 
学 领 页 域 存在 几 个 难以 解决 的 假设 ， 其 中 之 一 就 是 文献 
之 间 不 是 相互 独立 的 ,而 是 处 于 一 个 关联 网 络 中 ,导致 


相应 的 判断 也 处 于 一 个 变化 性 的 网 络 ( shift network ) 
之 中 中 。 更 进一步 , M.A. Tiamiyu # I Y. Ajife- 


ruke” 通 过 从 理论 上 探索 文献 间 关 系 如 何 影响 用 户 对 
单个 文献 相关 性 的 感知 ,提出 了 一 个 文献 交互 模型 。 
该 模型 考虑 了 3 种 文献 间 关 系 ,包括 完全 没有 关系 E 
代 性 关系 (如 重复 、 宛 余 等 ) 和 互补 性 关系 ( 即 讨论 某 
个 特定 主题 的 不 同 但 紧密 相关 的 方面 )， 并 建议 后 续 研 
究 应 更 加 深入 探索 文献 间 关 系 及 其 对 相关 性 感知 的 
sie. 

[一 除了 文献 间 关 系 之 外 ， 文献 呈现 形式 也 是 需要 考 


理论 用 于 解释 不 确定 下 的 判断 行为 ”。 该 理论 描述 
了 这 样 一 种 现象 , 即 一 个 人 会 使 用 先 接收 到 的 数字 或 
言 息 作 为 锚 点 ,然后 根据 随后 遇 到 的 信息 来 调整 该 锚 
点 。 此 后 ,研究 者 们 针对 这 一 现象 开展 了 广泛 的 研究 。 
例如 ,R. M. Hogarth #0 H. J. Einhorn 提出 了 信念 调整 
理论 ” ,将 次 序 的 影响 解释 为 信念 调整 和 更 新 的 结 
果 , 后 续 有 研究 指出 信念 调整 理论 的 预测 力 在 涉及 极 
端 证 据 的 任务 中 存在 一 定 的 局 限 ““。 
虽然 对 次 序 效 应 发 生机 制 的 理论 解释 存在 一 定 差 
异 ,但 是 研究 者 们 普遍 认可 次 序 效应 这 一 现象 的 存在 。 
一 般 地 ,引发 这 种 效应 的 两 个 事件 被 视 为 具有 非 兼 容 
FE (incompatibility) ,或 称 为 非 兼 容 性 事件 。 此 时 ,基于 
合 论 的 经 典 概率 理论 ( 即 不 考虑 事件 出 现 的 次 序 ) 
或 方法 在 解释 不 兼容 性 事件 的 发 生 概 率 时 具有 一 定 的 
ile, 例如 难以 用 传统 方法 解释 的 合 取 廖 误 或 析 取 
廖 误 ” 。 类 似 的 ,量子 理论 中 量子 的 非 兼 容 性 等 特点 
也 引发 了 研究 者 们 对 经 典 概率 理论 或 贝 叶 斯 理论 的 思 


虐 侧 一 个 重要 因素 。 已 有 研究 主要 考察 的 是 ,在 相同 
文献 的 不 同 呈 现形 式 下 ,相关 性 判断 以 及 所 应 用 的 维 
全 存在 差异 ,但 是 没有 探索 不 同文 献 旦 现形 式 下 相 
性 判断 次 序 效应 所 存在 的 不 同 。 例 如 ,P，Wang 
等 99 "提出 了 一 个 文献 选择 模型 ,该 模型 描述 了 从 书 
丘 剖 录 到 阅读 和 引用 中 的 决策 过 程 ,并 指出 出 分 别 仅 有 
513% 和 4.9% 的 检索 结果 会 被 阅读 和 引用 ,并 且 不 同 
给 用 所 采用 的 判断 标准 也 不 同 。P，Vakkari 和 N. 
Hakala 调查 了 元 数据 代理 和 全 文 两 种 形式 下 文献 相关 
性 评估 的 差异 ,发 现在 信息 搜寻 过 程 中 用 户 对 相关 性 
标 湾 的 使 用 与 文献 呈现 形式 有 关 "”。 具 体 而 言 , 在 到 
焦 前 阶段 ,主题 信息 在 元 数据 判断 比 在 全 文 判 断 中 具 
有 更 加 重要 的 作用 ,但 是 物理 特征 ,信息 类 型 以 及 用 户 
情境 则 相反 。I Xie AE. Benoit 调查 了 结果 列表 和 文 
献 全 文 评估 中 使 用 标准 的 异同 ,表明 在 全 文 评估 中 使 
用 的 标准 和 相应 元 素 会 更 多 ,同时 评估 所 花 的 时 间 也 
ZEK, Y. Wang 等 应 用 眼 动 追踪 方法 进一步 比 
较 了 搜索 结果 列表 和 单个 文献 评估 的 模式 ,发 现 两 者 
在 固定 元 素 和 转移 模式 方面 存在 差异 , 即 相 比 元 数据 
形式 ,文献 全 文 可 以 提供 更 多 的 信息 ,从 而 产生 更 大 的 
学 习 效应 。 
1.3 ”人 类 判断 中 的 次 序 效应 及 认 知 心理 学 解释 

在 人 类 判断 与 决策 领域 ,不 少 研究 者 对 次 序 效应 
产生 的 心理 及 认 知 机 制 进行 了 深入 的 探究 和 解释 ,并 
提出 了 相应 的 理论 。 例 如 ,著名 心理 学 及 经 济 学 家 A. 
Tversky 和 D. Kahneman 在 1974 年 提出 了 锚 定 和 调整 


考 ,并 提出 用 量子 推断 模型 来 解释 人 类 思维 的 模糊 性 
或 非 理 性 人 类 行为 “~ 。1999 年 ,A. Khrennikov 开始 
用 量子 物理 有 关 的 理论 来 解释 认 知 或 社会 现象 ,随后 
他 又 用 量子 式 模型 (quantum-like model) 对 认 知 决策 及 
膏 息 加 工 处 理 ( 如 囚徒 困境 或 析 取 廖 误 ) 进行 建 模 ” 。 
一 般 而 言 ,量子 理论 的 特点 在 于 , 它 是 通过 使 用 希 尔 伯 
特 空间 中 的 正 交 子 空间 进行 建 模 和 映射 ,具有 人 解释 不 
兼容 事件 的 能 力 , 而 这 种 事件 间 呈 现 次 序 的 影响 无 法 
不 考虑 事件 出 现 次 序 的 传统 概率 理论 来 解释 。 

综 上 可 以 看 出 ,目前 信息 检索 领域 对 于 相关 性 判 
断 的 次 序 效应 主要 集中 在 呈现 次 序 对 相关 性 判断 结果 
以 及 判断 一 致 性 、 速 度 以 及 维度 等 方面 的 影响 ,但 是 少 
有 研究 进一步 探索 这 种 次 序 效 应 发 生 的 情境 。 特 别 
是 ,虽然 研究 者 早 就 意识 到 文献 间 关 系 以 及 文献 呈现 
形式 的 重要 性 ,但 是 尚未 有 研究 将 这 两 个 因素 作为 判 
断 情境 探索 对 次 序 效应 可 能 产生 的 影响 。 与 此 同时 ， 
认 知 心理 学 等 领域 广泛 开展 了 与 次 序 效 应 有 关 的 研 
究 ,为 本 文 探 索 相 关 性 判断 中 的 次 序 效 应 及 其 情境 因 
素 黄 定 了 一 定 的 基础 。 


2 研究 设计 与 方法 
2.1 ”实验 设计 与 材料 选择 
本 研究 一 共 涉及 3 个 主要 变量 ,包括 文献 呈现 次 
序 文献 间 关系 和 文献 呈现 形式 。 本 文 的 基本 假设 是 ， 
文献 呈现 次 序 会 对 相关 性 判断 结果 产生 影响 ,并 且 这 
影响 受到 文献 间 关 系 (互补 和 互 斥 关系 ) 和 文献 呈 
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现形 式 (文献 全 文 和 片段 ) 的 作用 。 首 先 ,对 于 具有 互 
补 或 互 斥 关系 的 文献 而 言 ,不 同 的 文献 呈现 次 序 对 相 
关 性 判断 影响 的 程度 可 能 存在 差异 ;其 次 ,相对 于 仅 呈 
现 文献 片段 而 言 ,文献 全 文 所 产生 的 次 序 效应 可 能 会 
由 于 信息 量 的 增加 而 生成 更 强 的 学 习 效应 ,从 而 具有 
不 同 的 次 序 效应 。 因 此 ,笔者 将 采用 2X2X2 的 被 试 间 
实验 设计 方法 , 即 一 共有 8 个 实验 小 组 ,所 招募 的 被 试 
将 被 随机 分 配 到 这 8 个 实验 小 组 中 。 

实验 要 求 被 试 完成 所 设 定 的 4 个 主题 的 任务 。 为 
了 平衡 每 个 被 试 完成 实验 的 时 间 ,减少 来 自 其 他 被 斌 
的 压力 ,在 分 发 给 每 位 被 试 的 实验 材料 中 ,分 别 有 2 个 
主题 以 文献 全 文 和 文献 片段 的 形式 呈现 。 由 于 本 文 所 
考虑 的 互补 和 互 斥 关系 主要 是 观点 上 的 互补 或 互 斥 ， 
因由 争论 性 议题 更 适合 作为 实验 主题 。 通 过 调查 争议 
恬 轴 本 理解 相关 研究 中 所 使 用 的 任务 主题 ,同时 考虑 


到 这 些 议 题 在 本 文 实验 场景 中 的 合适 性 ,流行 度 等 ,最 
终 选 定 的 4 个 实验 主题 见 表 1。 由 于 目前 所 发 布 的 标 
准 数据 集 均 没有 考虑 文献 间 关 系 , 因 此 这 4 个 主题 的 
实验 材料 大 多 数 选 自 英 文 版 的 维基 百科 。 主 要 理由 是 
因为 英文 维基 百科 针对 大 量 争论 性 议题 专门 建立 了 相 
应 的 词 条 ,并 且 词 条 按照 不 同 的 观点 来 组 织 ,具有 非常 
清晰 的 主题 结构 ,可 以 比较 容易 地 为 每 个 主题 找到 具 
有 互 斥 和 互补 关系 的 子 主题 。 同 时 ,每 个 子 主题 需要 
在 维基 百科 中 拥有 相应 的 条 目 , 才 能 为 子 主题 构建 相 
应 的 文献 对 。 尽 管 如 此 ,仍然 有 些 主题 无 法 构建 满足 
条 件 的 实验 材料 (如 没有 建立 单独 的 百科 条 目 ) ,因此 
笔者 通过 利用 谷歌 搜索 引擎 搜索 ,构建 一 些 与 这 些 子 
主题 有 关 的 新 闻 作 为 实验 材料 。 为 了 节约 时 间 、 保 证 
材料 的 可 读 性 以 及 减少 实验 性 疲劳 带 来 的 影响 ,所 有 
文献 的 长 度 控制 在 200 - 300 字 之 间 。 


R1 所 选 主题 和 实验 材料 


FE 题 文献 关系 文献 标题 
ETA :全 球 变 暖 (the causes of global warming) ALK 森林 砍伐 (Deforestation ) 宇宙 射线 (Cosmic rays) 
Ht 化 石 燃料 (Fossil fuel) 水 泥 (Cement) 
考题 2: 转基因 食品 的 安全 性 (the safety of ge- 互 斥 星 联 玉米 召回 (StarLink corn recall) 金色 大 米 (Golden rice) 
a 
nel ly modified food) 
H% 等 效 性 (Substantial equivalence ) 食物 过 敏 (Food allergy ) 
ED 3. 智能 手机 的 辐射 (radiation of smat HJF 手机 辐射 不 会 对 人 体 造成 伤害 (Radiation From Mo- ”美国 癌症 主要 机 构 手 机 的 警告 (US canc- 
fhoue ) bile Phones Are Not Dangerous To Humans ) er boss in mobiles warning ) 


less crime ) 


ql 
q 


€ 


> 


2:2) 实验 过 程 

本 研究 主要 采用 便利 性 抽样 的 方法 来 招募 被 试 ， 
这 些 被 试 为 国内 某 * 双 一 流 "高 校 信息 管理 学 院 选 修 
某 一 课程 的 本 科 生 ,以 尽 可 能 确保 被 试 在 阅读 能 力 BE 
语 水 平 ,专业 背景 等 方面 的 同 质 性 。 获 得 任课 教师 的 
同意 之 后 ,笔者 利用 课 后 时 间 开展 了 实验 ,共有 80 名 
(注册 该 课程 的 学 生 有 90 名 ) 学 生 参 加 了 此 次 实验 ,时 
间 为 2018 年 11 月 。 除 了 2 名 学 生 没 有 提交 问卷 之 


H% 蜂窝 频率 (Cellular frequency ) 
AF 视频 游戏 意味 着 更 少 的 犯罪 (Do video games equal 


Ht 任天堂 手指 (Nintendo thumb ) 


特定 吸收 率 ( Specific absorption rate ) 
消息 称 Newtown 杀手 受到 挪威 大 屠杀 的 


影响 (Newtown shooter motivated by Nor- 


way massacre, sources say ) 


运动 控制 器 ( Motion controller 


) 


免 由 于 语言 障 但 引起 的 实验 偏差 ;同时 ,在 正式 实验 之 
前 对 实验 材料 的 可 理解 性 等 开展 了 小 范围 前 测 , 以 进 
一 步 确 保 所 选 实验 材料 的 适当 性 ,并 且 不 会 引起 阅读 
理解 上 的 问题 。 

为 了 削弱 实验 对 象 对 搜索 引擎 的 信任 所 产生 的 结 
果 偏 差 , 本 次 实验 采用 纸 笔 形式 开展 ,并 将 所 有 实验 材 
料 按 顺 序 排列 好 之 后 ,根据 计划 的 时 间 点 分 别 分 发 给 
被 试 。 为 了 保证 被 试 按 要 求 进行 实验 ,一 方面 ,研究 人 


外 ,在 剩 下 的 78 名 学 生 (34 名 男性 ,44 名 女性 ) 所 提交 
的 312 份 (78 人 *4 份 /人 ) 问 卷 中 ,剔除 5 份 存在 缺失 
值 的 问卷 ,最 后 用 于 分 析 的 问卷 共 307 份 。 由 于 实验 
材料 为 英文 ,通过 在 问卷 中 设置 与 英语 语言 能 力 有 关 
的 问题 ,发现 大 部 分 学 生 (60 名 ,76.9% ) 都 通过 了 全 
国 大 学 生 英 语 四 级 考试 ,表明 大 部 分 被 试 均 具 有 较 好 
的 英语 阅读 技能 。 同 时 笔者 也 挑选 出 了 实验 材料 中 相 
对 较 难 的 词汇 ,相应 给 出 了 中 文 的 翻译 ,从 而 进一步 避 


员 在 实验 前 着 重 强 调 ,被 试 在 实验 过 程 中 必须 严格 按 
照 给 定 的 实验 材料 顺序 开展 ; 男 一 方面 ,研究 人 员 通 过 
请 求 两 位 课程 助教 的 帮助 ,实时 监视 整个 实验 的 过 程 ， 
以 防止 出 现 不 按 要 求 开展 实验 的 情况 。 本 实验 中 使 用 
的 问卷 包括 实验 前 问卷 和 主 调查 问卷 ,实验 前 问卷 用 
于 收集 被 试 个 人 信息 (如 性 别 和 英语 能 力 ) 等 , 主 调查 
问卷 则 用 于 收集 被 试 的 相关 性 判断 及 其 原因 。 由 于 量 
子 认 知 理论 的 关键 假设 在 于 ,如 果 在 被 调查 的 第 一 个 
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问题 之 前 或 两 个 问题 之 间 存 在 其 他 问题 ,就 会 改变 被 
试 的 认 知 情境 ,从 而 产生 不 准确 的 测量 结果 。 因 此 ,为 
了 减少 实验 前 问卷 对 主 调查 问卷 测量 题 项 的 结果 产生 
影响 ,实验 前 问卷 和 主 调查 问卷 分 别 在 课 前 和 课 后 ( 相 
隔 一 个 课时 , 即 45 分 钟 ) 开 展 ,这 样 被 试 在 填写 主 调查 
问卷 时 所 处 的 认 知 情境 就 是 相同 的 。 在 实验 开始 之 
前 ,研究 者 分 发 给 被 试 一 份 实验 说 明 ,口头 说 明 实 验 过 
程 ,并 紧 接着 向 被 试 分 发 实验 前 问卷 。 在 主 实验 过 程 
中 ,分 发 给 被 试 的 实验 材料 总 共 包括 4 个 任务 说 明 .8 
篇 提前 选 定 的 文献 (每 个 任务 2 篇 ) 和 紧 随 其 后 的 相关 
性 判断 题 项 (4 个 刻度 ,分 别 为 不 相关 ,不 太 相 关 .部 分 
相关 和 相关 ) 。 此 处 使 用 四 点 量 表 ,一 方面 是 因为 它 是 
研究 中 应 用 较 多 的 一 种 量 表 , 另 外 已 有 研究 基于 类 


两 个 事件 是 非 独立 的 或 非 兼 容 的 ) 时 ,事件 出 现 的 概率 
无 法 用 集合 理论 来 表示 , 即 上 述 等 式 的 左边 与 右边 是 
不 相等 的 。 次 序 效应 ,或 者 概率 判断 中 的 合 取 廖 
误 ” ,就 是 两 个 非 兼容 事件 之 间 存 在 干扰 效应 的 典型 
现象 。 因 此 ,本 研究 将 应 用 全 概率 公式 来 探测 相关 性 
判断 的 次 序 效 应 中 是 否 存 在 量子 式 干扰 效应 (quan- 
tum-like interference effect) , 即 如 果 事 件 A 独立 出 现 的 
概率 等 于 事件 A 在 事件 B 所 有 可 能 情况 下 出 现 的 全 
概率 , 则 表明 量子 式 干扰 效应 不 存在 ,否则 存在 。 
2.3.2 ”量子 等 式 检验 

为 了 克服 经 典 概率 理论 在 解释 不 兼容 事件 时 的 缺 
AZ. Wang 等 '" 通过 探索 70 个 国家 级 调查 中 问题 对 
之 间 的 次 序 效应 ,以 揭示 判断 与 决策 中 人 类 认 知 的 量 


别 理论 发 现 ,用 户 在 对 搜索 引擎 结果 进行 分 类 时 平均 
会 产生 3 到 5 个 类 别 , 为 了 便于 后 续 数 据 分 析 中 对 量 
表 进 行 转换 ,笔者 决定 选择 四 点 量 表 。 在 每 个 相关 性 
判断 题 项 的 后 面 ,还 设置 了 两 个 开放 式 问题 ,要 求 被 斌 
分 到 解释 对 这 两 篇 文献 做 出 判断 的 原因 , 即 为 何 他 们 
认 海 文献 是 相关 或 不 相关 的 ,以 深入 理解 被 试 给 出 相 
REN FRY EEA 
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经 典 概率 理论 中 的 全 概率 公式 

在 经 典 概率 理论 中 ,事件 是 以 集合 的 形式 来 表示 
的 绚 f 有 基本 事件 均 由 采用 布尔 逻辑 运算 符 的 样本 空 
间 所 组 成 。 这 种 概率 的 集合 理论 模型 是 由 A. Kolmog- 
ory 1933 年 提出 并 建立 的 ” ,又 被 称 为 Kolmogorov 
模 一 。 该 模型 中 的 基本 定理 是 全 概率 公式 。 该 公式 建 
立 枉 条 件 概率 的 基础 上 ,这 里 条 件 概率 是 指 在 事件 B 
出 现 的 条 件 下 事件 A 出 现 的 概率 。 因 此 ,全 概率 公式 
定理 是 指 事件 A 独立 出 现 的 概率 等 于 事件 A 在 事件 B 
出 现 的 所 有 有 限 情况 下 出 现 概率 的 总 和 ,如 公式 (1) 
所 示 : 


p(A) = p’(A) = >.p(B,) * p(AIB,) 
公式 (1) 
在 全 概率 公式 中 ,最 简单 的 情形 为 事件 B 只 有 两 
种 情况 , 即 B, 和 B,。 此 时 ,事件 A 的 全 概率 公式 如 公 
式 (2) 所 示 : 
p'(A)=p(B,) * p(AIB,) +p(B,) * p(AlB,) 
公式 (2) 
研究 表明 ,基于 传统 布尔 逻辑 运算 符 的 全 概率 公 
式 , 在 考虑 量子 力学 中 的 量子 概率 时 会 出 现 背 反 的 情 
况 ” 。 这 就 意味 着 , 当 两 个 事件 之 间 存 在 量子 式 干扰 
( 即 事件 B 的 出 现 会 影响 事件 A 出 现 的 概率 ,或 者 说 


子 特 性 。 在 该 调查 数据 中 ,问题 对 的 答案 只 有 两 个 选 
项 , 即 是 和 和 否 ,并且 这 些 问题 分 别 以 不 同 的 次 序 进 行 了 
调查 ,通过 深入 探索 这 些 数据 ,发 现 并 通过 受 控 实 验证 
明 在 两 种 不 同 次 序 下 所 得 到 的 事件 列 联 表 中 主 对 角 线 
之 和 的 差 值 接近 于 0。 基 于 这 一 发 现 ,Z， Wang 等 提出 
了 量子 等 式 检验 (quantum question test, 简称 QQ 等 式 
检验 ) 方 法 ,该 方法 的 具体 计算 如 表 2 和 公式 (3) 
所 示 : 


R2 不同 次 序 下 的 判断 事件 


A-B 次 序 Br Bn B-A 次 序 Ar An 
Ar ArBr ArBn Br BrAr BrAn 
An AnBr AnBn Bn BnAr BnAn 


qË = (p(ArBr) + p(AnBn)) - (p(BrAr) +P 
(BnAn) ) = (p( AnBr) + p(ArBn)) - (p(BnAr) +P 
(BrAn) ) =0 ARG) 

ER 2 中 ,A-B 次 序 表示 事件 A 先 出 现 事 件 B 后 
出 现 的 情况 ,而 B-A 次 序 表示 相反 的 情况 。Ar 和 Bn 
分 别 表 示 对 于 事件 A 和 事件 B 其 结果 为 是 和 和 否 的 情 
况 。 因 此 ,在 两 个 事件 所 组 成 的 每 种 判断 次 序 之 下 , 均 
存在 4 种 不 同 的 情况 。 例 如 ,在 A-B 次 序 下 存在 的 4 
种 情况 分 别 为 ArBr ArBn AnBr 和 AnBn ,其 概率 表示 
分 别 为 P(ArBr) .P(ArBn)、P(BrAn) 和 P(AnBn)。 而 
B-A 次 序 下 的 4 种 情况 则 分 别 为 BrAr BrAn , BnAr 和 
BnAn, 其 概率 表示 相应 为 P(BrAr)、P(BrAn)、P 
(BnAr) 和 P(BnAn)。QQ 等 式 就 是 检验 这 两 种 不 同 次 
序 下 所 引起 的 认 知 情境 的 改变 ,或 者 说 第 一 种 次 序 下 
所 引起 的 次 序 效应 是 否 能 被 第 二 种 次 序 下 的 次 序 效应 
所 抵消 。q 值 就 是 这 两 种 情况 下 抵消 程度 的 测量 , 因 
此 在 次 序 效应 存在 的 情形 下 ,gq 值 应 该 总 是 接近 于 0。 
满足 这 一 等 式 的 前 提 假 设 是 :两 个 事件 之 间 不 存在 除 
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因素 研究 


了 前 一 个 事件 之 外 的 其 他 因素 对 后 一 个 事件 产生 的 影 
响 ” 。 也 有 研究 者 提出 ,QQ 等 式 是 缺少 情境 性 (后 一 
个 事件 不 受 前 一 个 事件 影响 ) 的 充分 条 件 , 但 不 是 必要 

的 条 件 ” 。 总 体 来 说 ,QQ 等 式 方法 是 目前 应 用 较 多 
的 一 种 基于 量子 概率 的 方法 ， 并 且 与 基于 布尔 逻辑 运 
算 的 全 概率 公式 不 同 ,QQ 等 式 考虑 了 两 个 事件 取 值 情 
况 的 可 能 组 合 , 更 适合 于 探索 不 同情 境 因 素 对 次 序 效 
应 的 影响 这 一 问题 ,本 研究 将 在 数据 分 析 部 分 尝试 应 
用 该 方法 对 相关 性 判断 的 次 序 效应 进行 检验 。 


3 研究 结果 


3.1 卡 方 检验 结果 
3.1.1 总 体 及 各 主题 下 的 相关 性 判断 结果 分 布 及 
a 


| 局 在 实验 中 ， 不 同 小 组 的 被 试 被 要 求 利 用 四 点 量 表 
六 等 个 主题 来 评估 以 不 同 次 序 呈 现 的 两 篇 文献 (文献 
A 向 文献 B) ,包括 文献 A- 文 献 B 和 文献 B- 文 献 A 两 
PYY o XIT A 而 言 , 以 文献 A- 文 献 B 次 序 呈 现 
诊 烛 行 相关 性 判断 的 情况 , 称 为 非 比较 场景, 即 此 时 广 
HER FL KEL AS 2s 受到 其 他 任何 文献 的 影响 ;而 


献 B- 文 献 A 为 非 比 较 场 景 而 文献 A- 文 献 B 为 比较 场 
景 。 由 于 研究 获得 的 数据 不 满足 正 态 分 布 (K-S 检验 
的 p 值 小 于 0.05 ,拒绝 空 假设 ) ,因此 使 用 列 联 表 和 卡 
方 检验 计算 比较 场景 和 非 比较 场景 下 文献 相关 性 结果 
的 分 布 及 其 显著 性 。 表 3 为 比较 和 非 比较 场景 下 文献 
A 和 文献 B 相关 性 判断 分 布 的 列 联 表 ,以 及 比较 场景 
与 非 比 较 场 景 之 间 的 差 值 。 从 表 3 可 以 看 出 ,比较 场 
景 与 非 比较 场景 的 差异 主要 存在 3 种 情况 :中 相 比 于 
非 比较 场景 ,在 比较 场景 下 判断 为 相关 的 数量 增加 而 
判断 为 部 分 相关 的 数量 减少 (对 应 于 总 体 以 及 T1 TA 
主题 下 的 文献 A 和 T3 主题 下 的 文献 B) ,或 者 判断 为 
部 分 相关 的 数量 增加 而 判断 为 部 分 不 相关 的 数量 减少 
(对 应 于 也 主题 下 的 文献 A) , 即 对 某 一 篇 文献 而 言 ， 
男 一 篇 文献 对 该 文献 的 判断 具有 增强 效应 , 且 这 种 情 
况 占 多 数 ;@ 相 比 于 非 比 较 场 景 , 在 比较 场景 下 判断 为 
部 分 相关 的 数量 减少 ,与 此 同时 判断 为 相关 和 部 分 不 
相关 的 数量 却 在 增加 (对 应 于 总 体 以 及 1T2 T4 主题 下 
的 文献 B) ,尤其 是 部 分 不 相关 的 数量 增加 更 为 明显 ， 

即 对 某 一 篇 文献 而 言 , 男 一 篇 文献 可 能 同时 对 该 文献 
存在 减弱 效应 和 增强 效应 ;@) 比 较 场景 和 非 比较 场景 


中 6 献 B- 文 献 A 为 次 序 旦 现 并 进行 相关 性 判断 时 , 属 
SERRE FB AL MEHI DEI, MX 


之 间 的 差异 并 不 明显 (对 应 于 T3 主题 下 的 文献 A) , 即 
文献 之 间 并 没有 引起 明显 的 增强 或 减弱 效应 。 


表 3 比较 和 非 比较 场景 下 文献 A 和 文献 B 的 相关 性 判断 分 布 与 差异 


. 文献 A 的 相关 性 文献 B 的 相关 性 
主题 不 同 呈 现 次 序 及 差异 

> 1 2 3 4 1 2 3 4 
YY TI 文献 A- 文 献 B/% 0 5 55 40 12.5 27.5 47.5 12.5 
Š 文献 B- 文 献 A/% 0 2.6 39.5 57.9 7.9 21.1 50 21.1 
-= A/% = (比较 场景 - 非 比较 场景 ) 0 -2.4 -15.5 17.9 4.6 6.4 -2.5 -8.6 
© T2 文献 A- 文 献 B/% 5.1 28.2 25.6 41 RT 28.2 30. 8 33.3 
文献 B- 文 献 A/% 0 13.5 43.2 43.2 2.7 10.8 64.9 21.6 
A/% = (比较 场景 - 非 比 较 场景 ) -5.1 -14.7 17.6 2.2 5 17.4 -34.1 11.7 
T3 文献 A- 文 献 B/% 10.3 20.5 28.2 41 0 17.9 38.5 43.6 
文献 B- 文 献 A/% 7.9 21.1 31.6 39.5 0 23.7 52.6 23.7 
A/% = (比较 场景 - 非 比较 场景 ) -2.4 0.6 3.4 -1.5 0 -5.8 -14.1 19.9 
T4 文献 A- 文 献 B/% 5.1 Ta 43.6 43.6 5.1 38.5 23.1 33.3 
文献 B- 文 献 A/% 0 5.4 35.1 59.5 10.8 27 37.8 24.3 

A/% = (比较 场景 - 非 比较 场景 ) -5.1 -2.3 -8.5 15.9 -5.7 11.5 -14.7 9 
Total 文献 A- 文 献 B/ 5.1 15.3 38.2 41.4 6.4 28 35 30.6 
文献 B- 文 献 A/% 2 10.7 37.3 50 5.3 20.7 51.3 22.7 

A/% = (比较 场景 - 非 比 较 场景 ) -3.1 -4.6 -0.9 8.6 1.1 7.3 -16.3 7.9 


随后 ,本 研究 通过 卡 方 检验 对 这 种 差异 进行 显著 
性 检验 。 总 体 来 看 ,文献 B 在 不 同 场景 下 的 相关 性 判 
断 差异 具有 统计 上 的 显著 性 (Xx =8.377, p =0.039 < 
0.05) ,但 是 文献 A 在 不 同 场 景 下 的 相关 性 判断 差异 


是 不 显著 的 (x =4.568, p =0.206 >0.05) ,并 且 在 两 
种 场景 下 单元 格 为 0 的 期 望 数量 小 于 5。 因 此 ,对 于 文 
献 B 而 言 拒绝 空 假设 ,而 对 于 文献 A 而 言 则 接受 空 假 
设 。 从 不 同 主题 来 看 ,结果 显示 ,只 有 主题 2 中 不 同 场 
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景 下 文献 B 的 相关 性 判断 存在 统计 上 显著 的 差异 (x 
=9.411, p=0.024 <0.05), 
3.1.2 不 同文 献 间 关系 和 文献 呈现 形式 的 差异 

为 了 检验 在 不 同文 献 间 关系 和 文献 呈现 形式 的 情 
境 下 文献 相关 性 判断 次 序 效应 是 否 存 在 差异 ,本 研究 
分 别针 对 这 两 个 变量 进行 了 卡 方 检 验 ,结果 分 别 见 表 
4 和 表 5。 其 中 ,A-B 表示 先 文献 A 后 文献 B 这 种 次 
序 ,B-A 则 相反 。 需 要 注意 的 一 点 是 ,虽然 在 互 斥 和 互 
补 关系 下 都 用 A 和 B 代表 相应 的 文献 对 ,但 是 不 同文 
献 关系 下 所 使 用 的 实验 材料 是 不 一 样 的 ,因此 不 能 对 
同一 种 次 序 下 (如 B-A 次 序 下 对 文献 B 而 言 ) 不 同文 


献 关系 之 间 进 行 比较 。 总 体 上 ,对 文献 B 而 言 不 同 次 
序 对 相关 性 判断 的 影响 是 显著 的 ,而 对 于 文献 A 这 种 
影响 是 不 显著 的 。 从 文献 间 关系 来 看 , 当 文献 间 关系 
为 互 斥 时 ,文献 B 的 卡 方 统计 检验 结果 是 显著 的 (Xx = 
8.363, p =0.039 <0.05) , FF A CHK A 双 尾 检验 的 p 
值 非常 接近 0.05(X =7.389, p =0.06) ,可 认为 达到 
边缘 显著 。 对 于 具有 互补 关系 的 文献 而 言 ,文献 A 和 
B 均 不 显著 。 对 于 文献 呈现 形式 而 言 , 片 段 形 式 的 文 
献 B 在 不 同 场景 下 的 相关 性 判断 差异 具有 显著 性 ,其 
他 情况 均 不 显著 。 


表 4 次 序 * 相关 性 * 文献 间 关 系列 联 表 与 统计 显著 性 
本 EJF (p =0. 06) 互补 (p=0.68) 总 体 (p=0.21) 
文献 间 关 系 /相关 性 值 
q A-B/% B-A/% Total/% A-B/% B-A/% Total/% A-B/% B-A/% Total/% 
Suit A 1 1.30 0.00 0. 60 9.00 4.10 6. 60 0.00 2.00 3.60 
LO 2 12.70 2.60 7.70 17.90 18.90 18.40 15.30 10.70 13.00 
0 
N 3 38.00 35.50 36. 80 38.50 39.20 38. 80 38.20 37.30 37.80 
ES 4 48.10 61.80 54. 80 34. 60 37. 80 36.20 41.40 50. 00 45.60 
= nes 互 斥 (p=0.04*) 互补 (p=0.28) 总 体 (p=0.04*) 
RARMAN 

er A-B/% B-A/% Total/% A-B/% B-A/% Total/% A-B/% B-A/% Total/% 
Crit B 1 2.50 0.00 1.30 10.30 10. 80 10.50 6.40 5.30 5.90 
eae 
2 2 30. 40 17.10 23.90 25.60 24. 30 25.00 28.00 20.70 24.40 
N 

s 3 35.40 55.30 45.20 34. 60 47.30 40. 80 35.00 51.30 43.00 
N 4 31.60 27.60 29.70 29.50 17.60 23.70 30. 60 22.70 26.70 

u u 

> 4 , so rae 
ft 表 5 ”次序 * 相关 性 * 文献 呈现 形式 列 联 表 与 统计 显著 性 


4 全 文 (p =0.52) 片段 (p=0.37) 总 体 (p=0.21) 
(人 A-B/% B-A/% Total/% A-B/% B-A/% Total/% A-B/% B-A/% Total/% 
aA 1 5.20 1.30 3.30 5.00 2.70 3.90 5.10 2.00 3.60 
Bm 2 7.80 7.90 7.80 22.50 13.50 18.20 15.30 10.70 13.00 
© 3 39.00 35.50 37.30 37.50 39.20 38.30 38.20 37.30 37.80 
4 48.10 55.30 51.60 35.00 44.60 39.60 41.40 50.00 45.60 
文献 旦 现形 式 /相关 性 值 ea a Se 
A-B/% B-A/% Total/% A-B/% B-A/% Total/% A-B/% B-A/% Total/% 
文献 B 1 5.20 3.90 4. 60 7.50 6. 80 7.10 6.40 5.30 5.90 
2 20. 80 15.80 18.30 35.00 25.70 30.50 28.00 20.70 24.40 
3 40. 30 51.30 45.80 30. 00 51.40 40.30 35.00 51.30 43.00 
4 33.80 28.90 31.40 27.50 16.20 22.10 30. 60 22.70 26.70 
3.2 全 概率 公式 背 反 由 于 文献 相关 性 判断 分 值 分 布 属于 左 偏 分 布 , 即 分 值 


在 进行 全 概率 公式 计算 以 及 QQ 等 式 计算 之 前 ， 
需要 先进 行 数据 转换 ,即将 相关 性 的 四 分 类 量 表 分 成 
二 分 类 量 表 。 在 选择 量 表 转换 方法 时 ,采用 的 具体 操 
作 是 将 原来 相关 性 值 为 1.2、3 的 结果 划 为 不 相关 一 
类 ,而 原来 相关 性 值 为 4 的 结果 划分 为 相关 一 类 ,转换 
后 的 数据 再 用 于 后 续 的 分 析 。 采 用 这 种 转换 方式 的 原 
因为 :首先 是 为 了 使 转换 后 的 数据 尽 可 能 达到 平衡 。 


更 多 地 集中 于 高 度 相关 的 区 间 。 正 如 已 有 研究 中 指出 
的 ,相关 性 判断 分 值 集中 分 布 于 相关 性 判断 的 两 个 极 
端 ( 不 相关 和 相关 ) ,而 较 少 分 布 于 中 间 的 区 间 ( 不 太 
相关 和 有 点 相关 ) ” 。 其 次 ,本 研究 更 多 关注 的 是 
文献 相关 性 的 评估 而 不 是 不 相关 性 的 评估 ,是 否 或 者 
多 大 程度 上 受到 其 他 已 判断 文献 的 影响 ,因此 通过 这 
种 量 表 转换 方法 可 以 将 高 度 相 关 性 这 一 类 单独 区 分 出 
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来 ,更 符合 这 一 目的 。 

在 进行 数据 转换 之 后 ,利用 全 概率 公式 对 比较 场 
景 和 非 比较 场景 下 的 概率 及 其 差异 进行 计算 ( 见 表 
6)。p(n) 和 Pp(r ) 分 别 表示 非 比较 场景 下 文献 和 j 
被 判断 为 相关 的 概率 (i 和 j 可 以 是 A 或 B, 当 i 为 文献 
A 时 ,j 为 文献 B, 反 之 则 相反 ,用 星 号 加 以 标记 以 作 区 
分 ) ,p(r ) 为 非 比较 场景 下 文献 j 被 判断 为 不 相关 的 
概率 ,这 些 概率 均 是 直接 从 原始 数据 得 到 的 。p(rnlr ) 
是 文献 被 判断 为 相关 的 条 件 下 文献 i 被 判断 为 相关 
的 条 件 概率 。 相 应 地 ,p(nl nm) 是 文献 j 被 判断 为 不 相 
关 的 条 件 下 文献 i 被 判断 为 相关 的 条 件 概率 。p’(r) 
是 通过 公式 (2) 计 算得 到 的 概率 。 第 1 组 到 第 4 组 文 


献 之 间 的 关系 为 互 斥 .第 5 -8 组 文献 之 间 的 关系 为 互 
tho AK 6 最 后 一 列 可 以 看 出 ,16 个 结果 中 有 10 个 结 
果 的 差异 超过 了 0. 1, 这 一 定 程度 上 证 实 了 全 概率 公 
式 背 反 的 存在 ,表明 文献 次 序 会 影响 相关 性 判断 。 在 
差异 超过 0. 1 的 所 有 结果 中 ,有 4 个 为 互 斥 关系 组 .6 
个 为 互补 关系 组 ,差异 最 大 的 为 0.34。 有 3 个 为 负 值 ， 
且 均 来 自 互补 关系 组 , 负 值 表 明 相 比 于 非 比 较 场 景 下 ， 
通过 全 概率 公式 计算 得 到 的 判断 为 相关 的 概率 有 所 降 
低 。 使 用 T 检 验方 法 来 分 析 这 两 种 场景 相关 性 判断 的 
差异 是 否 显著 ,得 到 p 值 为 0.003(df 自由 度 为 15) , 且 
皮尔 逊 相关 系数 为 0. 809(p =0.000)。 这 表明 ,文献 
次 序 会 显著 影响 相关 性 判断 。 


表 6 比较 场景 和 非 比较 场景 下 文献 相关 性 判断 的 概率 及 差异 


TS 组 别 _ 主 题 pCrilrj) p(y) plrilr) 


p(y) P (ri) p(y) A(p'Cri)-pCri)) 


1 0.60 0.26 0. 64 
TI * 0.00 0.40 1.00 
T2 1.00 0.16 0.44 

T” 0.44 0.45 0.09 
_T3 0.75 0.21 0.73 
T3 * 0.31 0.68 0.50 
T4 0.78 0.47 0.40 
T4 * 0.75 0.40 0.33 
T1 0.67 0.16 0. 50 
_T1* 0.25 0.40 0. 00 
T2 0.33 0.33 0.25 
TZS 0.71 0.37 0.25 
T3 0.00 0.26 0.07 

3 1.00 0.15 0.41 

4 0.00 0.00 0.61 

4 0.22 0.47 0.10 


3.3 QQ Sx 

对 于 文献 A- 文 献 B 次 序 或 文献 B- 文 献 A 次 序 , 均 
存在 4 个 事件 ,包括 :A,,Bi 或 BA AvB 或 Ben 
Aa Aaa Ba BÈ By Anaa Ana Bona B Boa Arado 
ABB B pA BEAR CHR A 或 B 被 判断 为 相关 之 后 文 
献 B 或 A 被 判断 为 相关 的 概率 。 对 原始 数据 进行 转 
换 之 后 ,按照 主题 文献 间 关系 和 文献 呈现 形式 ,对 不 
同 次 序 下 每 个 事件 的 概率 及 基于 QQ 等 式 得 到 的 q 值 
进行 计算 ( 见 表 7)。 从 表 7 中 可 以 看 出 ,只 有 主题 3 
的 q 值 显著 小 于 0.05 ,而 其 他 主题 的 q 值 均 大 于 0.05 ， 
表明 只 有 主题 3 通过 了 QQ 等 式 的 检验 。 此 外 ,具有 
互 斥 关系 或 文献 旦 现形 式 为 片段 的 情况 下 的 q 值 也 小 
于 0.05 , 均 通过 了 QQ 等 式 检验 ,说明 这 些 条 件 下 文献 
相关 性 判断 的 次 序 效应 确实 可 以 用 量子 理论 模型 来 


0.74 0.63 0.40 0.23 
0.60 0.60 0.26 0.34 
0. 84 0.53 0.45 0.08 
0.55 0.25 0. 16 0.09 
0.79 0.74 0. 68 0.05 
0. 32 0.37 0.21 0. 16 
0.53 0.58 0.40 0.18 
0. 60 0.50 0.47 0.03 
0. 84 0.53 0.40 0.13 
0. 60 0.10 0. 16 =0.06 
0.67 0.28 0.37 -0.09 
0. 63 0.42 0.28 0.14 


0.74 0.05 0.15 -0. 10 
0.85 0.50 0. 26 0.24 
1.00 0.61 0.47 0.14 


0.53 0.16 0.00 0. 16 


解释 。 

其 他 没有 通过 QQ 等 式 检 验 的 情况 ,原因 在 于 这 
些 情况 可 能 不 满足 QQ 等 式 的 前 提 假 设 一 一 互惠 性 原 
JUJ (the law of reciprocity ) 5 , 即 前 一 个 问题 是 影响 回 
答 后 一 个 问题 时 的 情境 或 状态 的 唯一 因素 。 尽 管 在 实 
验 设 计时 尽 可 能 避免 在 两 篇 文献 之 前 或 者 中 间 , 引 入 
除了 文献 次 序 之 外 的 其 他 因素 ,但 是 文献 是 一 个 非常 
复杂 的 对 象 ,可 能 在 阅读 并 判断 前 一 篇 文献 时 ,用 户 的 
认 知 会 受到 用 户 自身 诸多 因素 的 影响 ,如 背景 知识 、 对 
该 问题 的 信念 或 偏好 等 ,从 而 导致 第 一 篇 文献 所 引起 
的 用 户 认 知 变化 ,对 第 二 篇 文献 的 相关 性 判断 影响 较 
小 。 此 外 ,还 有 一 个 原因 可 能 是 在 较为 真实 的 实验 场 
景 下 产生 的 噪音 ,会 使 得 这 种 效应 减 小 以 致 难以 被 观 
察 到 "” 。 当 然 ,从 样本 量 的 角度 来 看 ,虽然 不 同 主题 、 
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= 


文献 间 关 系 以 及 文献 呈现 形式 之 间 的 样本 量 是 较为 平 
衡 的 ,并 且 某 些 情况 下 已 经 通过 检验 ,但 是 仍然 需要 注 


意 样 本 量 大 小 可 能 带 来 的 问题 ,这 也 是 后 续 提 到 的 本 


文 局 限 性 之 一 。 


R7 QQ 等 式 统计 结果 及 列 联 表 


QQ 值 A-B 次 序 B-A 次 序 
Ti(g= -0. 10) A-B(n=40) Brel Bouni B-A (n =38) Brot Bron sel 
Ari 0.050 0 0.350 0 Ag 0.1316 0.447 4 
A nsd 0.075 0 0.525 0 Arnd 0.078 9 0.342 1 
T2(q = -0.10) A-B(n =39) Bret Bronie B -A(n =37) Bret Braisa 
Aal 0.230 8 0.179 5 An 0.135 1 0.297 3 
A non ye 0. 102 6 0.487 2 Anon. rel 0.081 1 0.486 5 
T3(q=0.01") A-B(n =39) Ba Baa B-A (n =38) Brat Ba 
Aral 0.1795 0.230 8 Ag 0.078 9 0.315 8 
Aam 0.256 4 0.333 3 Anl 0.1579 0.447 4 
T4(q = -0.10) A-B(n=39) Brat Bon. rel B-A(n=37) Brot Beas 
Anal 0.205 1 0.230 8 Ave 0. 189 2 0.405 4 
= Anon. rel 0. 128 2 0.435 9 Anon rel 0.054 1 0.351 4 
Bq= -0.03*)  A-B(n=79) Bret B oie tel B-A(n=76) Ba Banri 
LO Anal 0.1772 0.303 8 Ra 0.210 5 0.065 8 
© Aati 0. 139 2 0.379 7 Aari 0.407 9 0.315 8 
Ey q=-0.11)  A-B(n=157) Bret Bad B-A (n =150) Brel Based 
© Au 0.153 8 0.192 3 A 0.054 1 0.1216 
= Keg 0.1410 0.5128 Anini 0.324 3 0. 500 0 
439(4= -0.15) A-B(n=157) Brat Boal B-A (n =150) Bui Banni 
CD Au 0.165 6 0.248 4 Au 0.133 3 0.3667 
N Anni 0.140 1 0.445 9 Aral 0.093 3 0.406 7 
Pee = -001*)  A-B(n=157) Bpel B non rel B-A(n =150) Bui Baani 
> Met 0. 100 0 0.250 0 ha 0.094 6 0.067 6 
> Anon_rel 0.175 0 0.475 0 A non rel 0.351 4 0.486 5 
zan 
SE q=-0.07)  A-B(a=157) Brat Bron. rel B-A(n = 150) Brot Baon_rel 
人 Au 0.165 6 0.248 4 Anl 0. 133 3 0.366 7 
ce Anga 0.140 1 0.445 9 Arora 0.093 3 0.406 7 
i= 


Z= -2.171(p =0.30) 


Z = -4.936(p =0. 000) 


© 
4 ”讨论 与 结论 


可 能 存在 比较 效应 和 吸引 效应 。 由 于 认 知 能 力 和 时 间 
等 的 有 限 性 ,用 户 在 面 对 大 量 相关 或 部 分 相关 的 文献 


4.1 研究 结果 讨论 
4.1.1 文献 呈现 次 序 对 相关 性 判断 的 影响 

(1) 定 量 分 析 表 明文 献 呈 现 次 序 会 显著 影响 相关 
性 判断 。 综 合 利用 卡 方 检验 、 全 概率 公式 背 反 和 QQ 
等 式 多 种 定量 分 析 方 法 发 现 , 即 使 在 只 有 两 篇 文献 的 
情况 下 ,相关 性 判断 次 序 效应 也 是 存在 的 ,并 且 与 被 判 
断 的 文献 本 身 ( 包 括 主 题 等 特征 ) 有 关 。 这 一 结论 与 
已 有 研究 是 一 致 的 ,如 M. Huang 和 了 Wang ”以 及 
Y. Xu 和 D. Wangi 的 研究 结果 。 所 不 同 的 是 , M. 


信息 时 ,往往 会 对 不 同 的 文献 信息 进行 比较 ,以 获得 对 
当前 任务 更 加 有 用 的 文献 信息 。 因 此 ,相关 性 判断 的 
次 序 效应 可 能 与 信息 交互 过 程 中 文献 之 间 的 相互 比较 
这 一 现象 有 关 。 例 如 ,有 一 位 被 试 在 解释 给 出 第 二 篇 
文献 的 评估 原因 时 提 到 “总 体 看 来 , 比 第 一 篇 客观 ”。 
还 有 一 位 被 试 在 关于 第 二 篇 文献 的 原因 陈述 中 也 与 前 
一 篇 文献 进行 了 比较 (“.. .对 我 了 解 转基因 安全 给 出 
更 客观 的 原因 ,而 不 像 上 篇 给 出 的 例子 主观 性 强 ”) 。 
此 外 ,定性 数据 分 析 还 发 现 次 序 效应 可 能 还 与 文献 之 


Huang il H. Wang 研究 认为 只 有 文献 数量 在 特定 范围 
的 时 候 ,这 种 次 序 效 应 才 会 产生 。 后 续 研 究 需要 进 一 
步 探索 不 同 的 文献 特征 与 相关 性 判断 次 序 效 应 之 间 的 
eK. 

(2) 开放 式 问题 分 析 发 现 被 判断 的 两 篇 文献 之 间 


间 的 吸引 效应 或 学 习 效 应 有 关 。 例 如 ,有 被 试 在 第 二 
篇 文献 的 评估 原因 中 提 到 “结合 第 一 篇 的 二 氧化 碳 导 
致 全 球 变 暖 ,本 文中 提 到 水 泥 制 作 和 使 用 过 程 会 产生 
大 量 二 氧化 碳 ”, 可 知 第 一 篇 文献 的 内 容 为 第 二 篇 文献 
的 相关 性 判断 提供 了 一 定 的 基础 , 当 第 一 篇 文献 先 出 
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现时 ,被 试 可 以 从 该 篇 文献 中 学 习 ,并 用 于 第 二 篇 文献 
的 判断 ,从 而 可 能 会 提高 第 二 篇 文献 判断 为 相关 的 
概率 。 
4.1.2， 相 关 性 判断 次 序 效应 产生 的 情境 

本 研究 除了 调查 相关 性 判断 中 是 否 存在 次 序 效应 
之 外 ,还 调查 了 这 种 次 序 效 应 与 文献 间 关 系 以 及 文献 
呈现 形式 这 两 个 因素 的 关系 , 即 相关 性 判断 次 序 效应 
所 发 生 的 情境 。 

(1) 文 献 间 关系 。 研 究 发 现 ,相对 于 具有 互补 关 
系 的 文献 , 互 斥 关系 文献 的 呈现 次 序 更 容易 影响 相关 
性 判断 。 尽 管 已 有 研究 从 理论 上 探讨 了 文献 间 关系 对 
不 同 次 序 下 的 相关 性 判断 所 产生 的 影响 ,如 M. A. 
Tiamiyu 和 工 Y，Ajiferuke 呈 指出 ,除了 考虑 单 篇 文献 
对 信息 需求 的 贡献 之 外 ,总 体 相关 性 还 取决 于 这 篇 文 
献 与 用 户 已 经 检视 过 的 文献 之 间 的 关系 ,包括 宛 余 重 
颁 春 符 代 性 关系 和 互补 关系 。 但 是 目前 尚未 发 现 有 研 
鹤 导 这 种 影响 进行 检验 ,因此 这 一 结论 无 法 与 已 有 研 
瑚 好生 比较, 且 仍然 需要 进一步 验证 和 探索 。 

中 (2) 文 献 呈 现形 式 。 研 究 发 现 ,相对 于 文献 全 文 ， 
双环 片段 的 呈现 次 序 更 容易 是 影响 相关 性 判断 。 因 为 文 
献 忆 段 中 用 于 判断 相关 性 的 信息 更 少 ,用 户 在 进行 判 
断 测 所 形成 的 信念 更 不 稳定 ,更 容易 受到 影响 。 已 有 
[虽然 未 具体 探讨 该 问题 ,但 是 I Xie AE. Be- 
no ”证实 了 不 同时 现形 式 下 评估 文献 相关 性 所 应 用 
ee anil 


REEL FUE 的 差异 ,可 
于 豆 同 次 序 的 文献 所 应 用 的 标准 和 元 素 不 同 。 


4.99 研究 结论 
本 研究 采用 便利 性 抽样 的 方法 招募 80 名 被 试 完 
成 了 包含 4 个 实验 任务 的 用 户 实验 。 通 过 在 实验 中 控 


4.3 研究 启示 与 局 限 性 
4.3.1 研究 价值 与 启示 

已 有 研究 仅仅 从 理论 上 探讨 了 文献 间 关 系 对 相关 
性 判断 次 序 效应 可 能 存在 的 影响 ,本 研究 首次 从 用 户 
导向 出 发 ,通过 实验 调查 了 文献 间 关系 和 文献 呈现 形 
式 作为 情境 因素 ,分 析 了 在 什么 情境 下 相关 性 判断 次 
序 效应 会 发 生 及 不 同情 境 产生 的 差异 。 

(1) 对 理论 研究 的 启示 。 相 关 性 是 信息 检索 领域 
的 一 个 非常 核心 且 以 人 为 中 心 的 概念 。 经 过 半 个 多 址 
纪 的 发 展 , 研 究 者 们 对 相关 性 的 本 质 仍然 没有 一 
晰 和 统一 的 认识 ,但 是 相关 性 的 动态 性 、 多 维度 性 等 特 
征 已 经 受到 了 广泛 的 认可 。 目 前 ,研究 者 们 认为 相关 
性 的 动态 性 主要 是 从 信息 需求 及 其 问题 情境 的 动态 
性 ' 引 和 搜索 即 学 习 "” 等 理论 或 视角 来 加 以 解释 ,很 少 
有 人 研究 将 这 种 动态 性 同 用 户 认 知情 境 与 信息 对 象 ( 即 
文献 ) 之 间 的 交互 作用 联系 起 来 ,并 从 用 户 视角 来 开展 
相应 的 人 研究。 缺少 对 这 种 交互 作用 的 认识 ,将 会 导致 
无 法 从 理论 上 深入 理解 相关 性 的 动态 性 及 其 背后 的 原 
因 或 基础 规律 。 因 此 ,后 续 研 究 可 以 从 这 种 视角 出 发 ， 
充分 挖掘 用 户 认 知 与 信息 对 象 之 间 的 交互 作用 ,特别 
是 对 具有 不 同 关系 的 信息 对 象 而 言 , 这 种 交互 作用 的 
发 生机 制 及 其 对 用 户 信 息 交 互 过 程 ,特别 是 对 相关 性 
判断 产生 的 影响 。 

(2) 对 信息 检索 系统 的 启示 。 目 前 大 部 分 信息 检 
索 系统 的 基本 假设 是 文献 之 间 是 独立 的 ,并 基于 这 一 
假设 分 别 对 文献 的 相关 性 进行 计算 ,按照 计算 所 得 相 
关 性 程度 对 这 些 结果 进行 排序 。 本 研究 通过 实证 研究 
表明 了 这 一 假设 的 不 合理 性 ,并 进一步 讨论 了 这 一 假 
设 不 成 立 的 具体 条 件 及 其 原因 ,包括 文献 间 互 补 和 互 
斥 关系 以 及 文献 呈现 形式 两 个 方面 作为 次 序 效应 产生 
的 情境 因素 。 这 一 研究 结果 对 于 信息 检索 系统 的 启示 


制 文献 旺 现 次 序 ,文献 间 关 系 以 及 文献 呈现 形式 ,来 调 
查 这 些 因素 对 用 户 相 关 性 判断 的 影响 。 本 研究 是 首 个 
同时 考虑 这 3 个 因素 的 用 户 实验 研究 ,特别 是 考虑 互 
补 和 互 斥 两 种 文献 间 关 系 以 及 片段 和 全 文 两 种 不 同文 
献 呈 现形 式 作为 情境 因素 时 ,相关 性 判断 次 序 效应 所 
存在 的 不 同 。 研 究 发 现 ,即使 在 只 有 两 篇 文献 的 情况 
下 ,相关 性 判断 的 次 序 效应 也 是 存在 的 , 即 文献 呈现 次 
序 确实 会 对 相关 性 判断 产生 影响 。 此 外 ,本 研究 也 发 
现 , 文 献 间 关系 和 文献 呈现 形式 确实 是 次 序 效应 的 情 
境 因素 。 具 体 地 , 相 比 于 具有 互补 关系 的 文献 ,在 具有 
互 斥 关系 的 文献 中 ,相关 性 判断 的 次 序 效 应 更 加 明显 ， 
同时 , 相 比 于 文献 全 文 这 种 呈现 形式 ,对 于 以 文献 片段 


主要 有 如 下 几 个 方面 :中 在 文献 间 关 系 对 于 检索 结果 
排序 的 启发 方面 ,对 于 存在 互补 关系 的 信息 项 (特别 是 
文献 内 细 粒 度 信息 内 容 ) 而 言 ,虽然 具有 互补 关系 的 信 
息 项 对 相关 性 判断 的 次 序 效应 并 不 明显 ,但 是 仍 需要 
Aie ELAR 息 项 之 间 的 增强 或 减弱 关系 ,通过 

息 聚 合 “ 的 方式 将 这 些 信 息 项 关联 并 综合 在 一 起 ， 
实现 信息 项 之 间 的 学 习 效 应 或 吸引 效应 ,以 增强 文献 
集 的 总 体 效 用 ,为 用 户 提供 更 有 效 的 信息 检索 服务 ;对 
于 存在 互 斥 关系 信息 项 的 排序 ,不 能 仅仅 考虑 与 检索 
需求 的 匹配 性 程度 ,以 及 与 用 户 已 有 点 击 历史 的 相似 
程度 来 返回 检索 结果 ,否则 会 导致 用 户 接收 的 信息 罕 
化 并 产生 典型 的 信息 莉 房 ” ， MEA EEA 


形式 来 呈现 的 文献 ,相关 性 判断 的 次 序 效应 更 加 显著 。 


互 斥 关系 的 信息 项 对 用 户 认 知 产生 的 影响 ,如 通过 交 
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又 排列 的 方式 依次 或 平行 地 呈现 具有 互 斥 关系 的 信息 
项 ,使 搜索 结果 多 样 化 1。 一 方面 ,这 样 可 以 便于 用 
户 从 不 同 的 角度 对 这 些 信息 项 进行 比较 ; 另 一 方面 也 
可 以 增加 搜索 结果 中 排 在 靠 后 文献 的 边际 效用 值 *1， 
提高 用 户 对 搜索 结果 集 的 满意 度 。@ 在 文献 呈现 形式 
方面 ,研究 发 现 文献 片段 更 容易 引起 相关 性 判断 的 次 
序 效 应 ,因此 如 何 用 文献 片段 的 方式 更 充分 地 描述 和 
揭示 文献 的 内 容 , 让 用 户 形成 更 加 稳定 的 信念 也 是 信 
息 检 索 系 统 应 该 考虑 的 另 一 个 问题 。 

(3) 对 研究 方法 的 启示 。 本 研究 应 用 量子 认 知心 
理学 中 的 方法 对 数据 进行 统计 和 分 析 , 更 加 全 面 .综合 
地 检验 了 次 序 效应 的 存在 以 及 发 生 的 情境 ,认为 基于 
量子 理论 的 数理 分 析 与 统计 方法 在 信息 检索 研究 中 的 
应 用 是 非常 具有 前 景 的 。 目 前 ,与 量子 有 关 的 现象 已 
经 禄 广泛 地 证 实 和 发 现 ,并 且 研 究 者 认为 将 量子 理论 
用 于 解释 人 类 认 知 行为 具有 一 定 的 合理 性 和 适用 
性 5 。 信 息 检索 早已 经 从 系统 导向 转向 了 认 知 导向 
各 篇 境 导向 ,这 两 种 导向 下 的 信息 检索 必然 涉及 大 量 


ga, 


JORI AN AV SE BE J EGE HL I HE 


Sa 


-例如 ,量子 理论 中 的 基本 原理 之 一 一 一 互补 性 原 


理光 信息 检索 中 相关 性 判断 次 序 效应 不 谋 而 合 , 即 互 
被 剖 原 理 认为 测量 必须 按照 次 序 进行 并 且 第 一 次 测量 


的 沟 序 效应 。 
43 研究 局 限 性 


CC 本 研究 采用 便利 性 抽样 的 方式 招募 某 “ 双 一 流 ” 


8 


高 萎 的 学 生 作为 被 试 ,样本 覆盖 范围 和 样本 量 比较 有 
限 S 比 为 本 研究 的 局 限 性 之 一 。 研 究 的 局 限 性 之 二 在 
于 舍 验 材料 的 选择 方面 。 尽 管 笔者 从 多 个 方面 考虑 了 
实验 材料 选择 的 合理 性 ,但 是 由 于 缺少 考虑 文献 间 关 
系 的 标准 化 文献 材料 ,如 TREC 会 议 所 提供 的 标准 化 
评测 过 程 和 文献 材料 ,因此 笔者 在 选择 文献 材料 时 仍 
然 不 乏 一 定 的 武断 性 和 主观 性 。 在 缺少 标准 化 .可 比 
较 的 文献 材料 作为 实验 材料 的 情况 下 ,这 种 文献 选择 
的 主观 性 是 信息 检索 领域 实验 研究 中 难以 克服 的 一 个 
常见 性 问题 。 因 此 ,研究 者 需要 在 尽 可 能 详尽 地 考虑 
文献 有 关 的 各 种 变量 对 实验 结果 产生 的 影响 ,控制 这 
些 因素 对 实验 结果 的 干扰 。 未 来 研究 可 从 如 下 几 个 方 
面 来 进一步 开展 :后 续 研究 可 进一步 调查 多 模 态 ( 如 
图 片 . 视 频 等 ) 信 息 检索 中 的 次 序 效应 问题 ,包括 单个 
模 态 下 以 及 不 同 模 态 间 信息 对 象 的 相关 性 判断 次 序 效 
应 问题 ;@ 后 续 研 究 还 可 以 考虑 不 同 垂直 领域 下 ( 如 百 
BL .博客 ,新闻 等 ) 信 息 对 象 之 间 相关 性 判断 的 次 序 效 
应 问题 ;@ 后 续 研究 可 以 考察 不 同 的 文献 特征 (如 不 同 


的 文献 间 关 系 ) 以 及 不 同 的 用 户 特 征 ( 如 用 户 阅 读 能 
力 、 认 知 风 格 、 与 主题 有 关 的 信念 等 ) 情 境 下 ,相关 性 判 
断 次 序 效应 的 差异 。 
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s= Abstract; | Purpose/Significance | The main approach adopted in most information retrieval systems currently 

“Ro present the search results list linearly based on the relevance score. Although existing researches have theoreti- 
cally criticized the limitations of this approach, proposing that there is mutual influence between the document previ- 
ously examined and read, there is no empirical study to further investigate the contextual factors affecting the order 
effect of relevance judgment. | Method/Process | In response to this question, this paper adopted the 2X2X2 inter- 
subject experiment method by recruiting 80 subjects. Each subject was required to complete 4 experimental tasks with 
different topics. Data was collected by questionnaires before and after each experimental task was completed. In order 
to explore the order effect of relevance judgment and the influence of inter-document relationships as well as the docu- 
ment presentation types as contextual factors, the collected data was analyzed using various methods, such as chi- 
square test, law of total probability violation, QQ equation, etc. | Result/Conclusion | The research results confirm 
that the judgment of relevance can be affected by the presentation order of the documents and this effect is different 
according to the relationships between documents and document presentation types. Specifically, compared to docu- 
ments with complementary relationships, the order of documents with contradictory relationship is more likely to influ- 
ence the relevance judgment. In addition, compared with the full text, the order of the presentation of literature snip- 
pets is more likely to affect the relevance judgment. Although this paper has its limitations, the research conclusions 
obtained have certain theoretical, practical and methodological enlightenment. 
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